知名人工智慧公司 Anthropic 呼籲全球頂尖 AI 企業協調暫停先進 AI 系統的研發，警告技術快速進步恐導致人類失去控制。此舉引發業界對 AI 發展速度與風險的討論，其競爭對手 OpenAI 則認為應由民主政府主導相關規範。Anthropic 同時也透過其「玻璃之翼計畫」將網路安全 AI 模型開放給全球組織，協助強化防禦。
人工智慧（AI）領域的領先企業 Anthropic 近期呼籲全球頂尖 AI 公司，應共同協調暫停先進 AI 系統的研發，以應對日益增長的人類可能失去控制的風險。該公司警告，AI 技術發展速度之快，恐讓人類難以掌握，若無協調機制，可能導致「最不謹慎」的玩家搶佔先機。
Anthropic 在上週四發布的部落格文章中指出，隨著尖端 AI 執行軟體任務（例如自行編寫程式碼）的速度不斷加快，「世界應擁有放慢或暫停其發展的選項」。Anthropic 共同創辦人 Jack Clark 與其研究機構主管 Marina Favaro 表示，暫停研發能讓「社會結構與對齊研究」跟上 AI 的進步步調。「對齊」（alignment）在業界是確保技術符合人類價值觀和意圖的術語。該公司強調，若無全球協調機制，任何單獨放慢速度的行為都可能讓「最不謹慎的」參與者迎頭趕上，並增加企業和政府在 AI 安全決策上的壓力，也避免「惡意行為者利用協調放緩的機會秘密超前」。
不過，Anthropic 的競爭對手 OpenAI 則在上週三發布的報告中提出不同看法。OpenAI 認為，AI 創新步調的決定不應留給任何實驗室、公司或特定利益團體，並聲明「民主政府——而非單獨行動的私人企業——最終必須決定規範、保障與問責機制」。
Anthropic 指出，根據目前趨勢和足夠的運算能力，AI 系統未來可能能夠設計並開發自己的繼任者，這種現象被稱為「遞迴式自我改進」（recursive self-improvement）。儘管這種「自我建構」的 AI 可在科學、醫療等領域帶來益處，但也「可能增加人類失去對 AI 系統控制的風險」。為佐證 AI 技術的潛在威脅，本週稍早，加拿大多倫多大學的研究團隊更展示 AI 工具如何被用來製造一種新型 AI「蠕蟲」，能隨著在不同設備間傳播而調整其駭客策略，進而控制龐大的電腦網路。研究人員尼古拉斯·帕佩爾諾（Nicolas Papernot）指出，該蠕蟲是在實驗室中利用開源 AI 工具開發的，這種工具易於軟體開發者便宜取得並修改。他認為，公司、政府機構和學術界應加強合作，開發反制措施，以應對 AI 驅動的駭客工具在尋找電腦漏洞方面的巨大潛力。
儘管呼籲暫停研發，Anthropic 仍持續投入 AI 技術的應用。本週稍早，該公司宣布擴大「玻璃之翼計畫」（Project Glasswing），將其網路安全模型 Claude Mythos Preview 的存取權開放給全球超過 15 個國家約 150 個額外組織，其中包括電力、水務、醫療、通訊和硬體等關鍵基礎設施營運商。這項計畫自四月啟動以來，初期 50 個合作夥伴已在程式碼庫中發現超過 10,000 個高風險或嚴重等級的安全漏洞。據《NDTV Profit》報導，印度部分政府機構和私人企業也已透過此計畫取得 Anthropic 的 Claude Mythos AI 模型，以強化網路防禦。Anthropic 表示，其合作夥伴的組織，一旦遭遇網路攻擊，可能影響超過 1 億人，因此透過賦予其存取權限，期望能協助這些組織偵測數位基礎設施中的安全漏洞、測試防禦能力並加速修補易受攻擊的軟體系統。